DeRes: Decoupling Residual Stability and Adaptivity for Scalable CTR Prediction
DeRes：解耦残差稳定性与自适应性的高效 CTR 预估
🧭 CTR 预估 · 残差连接 · 双路径架构 ★ 深度解读
双路径残差解耦稳定性与自适应，点式 SiLU 注意力支持多兴趣并行，得到更优 AUC 和更陡缩放律
📌 工作参考价值（4 点）
- 双路径残差设计：保留恒等跳跃连接保证梯度流和低阶特征复用，同时增加块注意力路径提取跨层高阶信号；电商推荐中特征异构性强，可照搬此解耦方式，避免深层 Transformer 的信号稀释。
- 点式注意力（Pointwise AttnRes）用 SiLU 替代 Softmax：打破跨层注意力的零和竞争，支持多兴趣同时激活并提供负权遗忘；适用于多兴趣用户建模（如 DIN 升级），可推广到序列推荐中的跨层特征聚合。
- 向量级门控融合：每个隐藏维度独立决定两路径权重，比标量门控更精细；可借鉴到多路特征融合场景，实现维度级别的自适应路由。
- 缩放律优化：在同等 FLOPs 下获得更高 AUC，8 层模型即达到 16 层 OneTrans 性能，计算节省约 2 倍；工业部署时可用更浅的网络达到同等效果，直接降低推理成本。